Learning to Prefer Reliably: Error-Augmented Emotion Preference Optimization with Calibrated Fusion
可靠偏好学习：错误增强的情感偏好优化与校准融合
🧭 多模态情感偏好优化与裁判校准
The Hong Kong Polytechnic University · Brno University of Technology · Tsinghua University · National Taiwan University · Kyoto University
通过错误增强负样本与多裁判边缘校准融合，提升多模态情感偏好判断的鲁棒性
📌 工作参考价值（4 点）
- 负样本构造策略可迁移：在训练推荐/广告文案生成或排序模型时，不只是随机采样负样本，而是从正样本出发生成多类受控负样本（如语义流畅但违背用户真实意图的商品描述、评论），显著提升模型对困难负样本的区分度。
- 多裁判融合的校准思路：当用多个 LLM 作为标注器/打分器（如商品质量评估、广告文案评分）时，不同模型输出打分分布差异大，先做 margin calibration（映射到统一尺度）再融合，比直接平均更稳定，可减少单一模型偏差。
- 偏好优化数据增强：用错误增强方式扩充偏好对，能缓解稀疏监督问题，在电商 UGC 情感分析、客服对话语气判断等场景可以低成本生成更多高质量训练对。
- 工程上可复用 soft fusion 思想：对于多个异构模型的预测结果，不采用 hard voting 或简单平均，而是保留偏好 margin 并做校准后加权，适合集成多个微调裁判模型，提升线上评估一致性。